Tân Công tước và tân Công tước phu nhân xứ Braunschweig chuyển đến Cung điện Braunschweig ở thủ đô Braunschweig và xây dựng gia đình của mình, trước là với sự ra đời của con trai cả là Ernst August Georg của Hannover, chưa đầy một năm kể từ khi hai vợ chồng kết hôn. [27] Họ còn có thêm bốn người con nữa là Georg Wilhelm (sinh năm 1915), Friederike Luise (sinh năm 1917), Christian Oskar (sinh năm 1919) và Welf Heinrch (sinh năm 1923).

Ngày 8 tháng 11 năm 1918, chồng của Viktoria Luise bị buộc phải thoái vị cùng với các vị quốc vương, đại công tước, công tước và thân vương khác của Đức, và công quốc Braunschweig sau đó bị bãi bỏ .đã không còn tồn tại. Năm tiếp theo, Ernst August bị tước bỏ các tước hiệu Anh theo Đạo luật Tước bỏ Tước hiệu năm 1917 do phục vụ trong quân đội Đức trong chiến tranh.[28]

Vì vậy, khi cha của Ernst August qua đời vào năm 1923, Ernst August đã không kế vị tước hiệu Công tước xứ Cumberland của cha. Trong ba mươi năm tiếp theo, Ernst August vẫn là Gia chủ Vương tộc Hannover, nghỉ hưu trên nhiều điền trang khác nhau cùng gia đình, chủ yếu là Lâu đài Blankenburg ở Đức và Lâu đài Cumberland ở Gmunden, Áo. Ernst August cũng sở hữu Lâu đài Marienburg gần Hannover; tuy nhiên, hai vợ chồng hiếm khi sống ở đó cho đến năm 1945.